Agentic Permissions Policy Algebra for Taint Confinement in LLM Agents
LLM Agent 污点约束的代理权限策略代数
🧭 Agent 安全 · 信息流控制
Archestra AI
通过上下文分支与前瞻权限检查，将 LLM Agent 的数据泄露攻击成功率从 31-50% 压至 0-7%
📌 工作参考价值（4 点）
- 上下文分支隔离：在处理不可信数据（如用户评论、外部 API 返回）时，可借鉴子轨迹设计，将高风险操作隔离在临时上下文中，仅将净化后的有界结果传回主流程，避免污染推荐系统的核心状态。
- 前瞻性权限检查：在 Agent 调用工具或访问数据源前，可插入类似“标签预评估”的步骤，提前生成授权/接受方案，防止越权调用，尤其适用于涉及用户隐私数据（订单、浏览记录）的电商对话 Agent。
- 细粒度污点净化：允许受信任的净化器对敏感信息进行脱敏或聚合后再返回主上下文，既保留数据效用又不泄露原始隐私，适合推荐系统中混用 PII 与公共特征的安全场景。
- 形式化的合并约束：双幺半群模型为多轮对话、多工具调用提供了可验证的标签保持证明，可作为构建高安全 Agent 框架（如购物助手、搜索代理）的理论基础。